MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University(杜克大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在成员推断攻击中,攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地,给定对目标分类器的黑盒访问,攻击者训练二元分类器,该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入,并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制:1)它们没有置信度得分向量的正式效用损失保证,以及2)它们实现了次优的隐私效用权衡。在这项工作中,我们提出MemGuard,第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程,而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是,攻击者使用分类器来预测成员或非成员,分类器容易受到对抗性示例的影响。基于观察结果,我们建议将精心制作的噪声向量添加到置信度得分向量中,将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明,MemGuard可以有效地抵御成员推断攻击,并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制,以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Are Attribute Inference Attacks Just Imputation?
University of Virginia(弗吉尼亚大学)
模型可以暴露关于其训练数据的敏感信息。在属性推断攻击中,攻击者对一些训练记录具有部分知识,并且可以访问在这些记录上训练的模型,并且推断出这些记录的敏感特征的未知值。我们研究了细粒度的属性推断的变体,我们称之为\emph{sensitive value inference},对手的目标是以高置信度从候选集的未知属性具有特定的敏感值的一些记录。我们明确比较属性推断与数据填补,捕捉训练分布统计,在各种假设下的训练数据提供给对手。我们的主要结论是:(1)先前的属性推断方法并没有比对手在不访问训练模型的情况下能够推断出的更多地揭示来自模型的训练数据,但是具有与训练属性推断攻击所需的相同的底层分布知识;(2)黑盒属性推断攻击很少学习没有模型就不能学习的任何东西;但是(3)白盒攻击,我们在本文中介绍和评估,可以可靠地识别具有敏感值属性的一些记录,这些属性在没有访问模型的情况下无法预测。此外,我们表明,提出的防御措施,如差异化私人培训和从培训中删除易受攻击的记录,并不能减轻这种隐私风险。我们的实验代码可在\url{https://github.com/bargavj/EvaluatingDPML}上获得。
2022-09-02 cs.CR cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research(IBM研究院)
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性,发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度神经网络容易受到各种推理攻击,因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法,相对于被动和主动推理攻击者,并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击,以跟踪其训练数据记录。我们表明,一个简单的扩展已知的黑盒攻击的白盒设置(通过分析激活函数的输出)是无效的。因此,我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法,该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后,我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型,证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中,对抗性参与者如何成功地对其他参与者进行主动成员推理攻击,即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Unleashing the Tiger: Inference Attacks on Split Learning
EPFL(洛桑联邦理工学院);George Mason University(乔治梅森大学);Institute of Applied Computing, CNR(意大利国家研究委员会应用计算研究所)
我们研究了分裂学习的安全性--一种新颖的协作机器学习框架,它通过最小的资源消耗来实现峰值性能。在本文中,我们暴露的协议的漏洞,并证明其固有的不安全性,通过引入一般的攻击策略,针对客户端的私人训练集的重建。更突出的是,我们发现恶意服务器可以主动劫持分布式模型的学习过程,并将其带入不安全状态,从而对客户端数据进行推理攻击。我们实现了不同的攻击适应,并在各种数据集以及现实的威胁场景中进行测试。我们证明,我们的攻击是能够克服最近提出的防御技术,旨在提高分裂学习协议的安全性。最后,我们还说明了协议的不安全性对恶意客户端扩展以前设计的攻击联邦学习。为了使我们的结果可重复,我们在https://github.com/pasquini-dario/SplitNN_FSHA上提供了我们的代码。
2021-11-04 cs.CR cs.LG
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia(帕维亚大学);University of Milan(米兰大学)
本文提出KDk框架,结合知识蒸馏与k-匿名性,防御纵向联邦学习中的标签推断攻击,使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Defending Label Inference Attacks in Split Learning under Regression Setting
Zhejiang University(浙江大学)
针对回归设置下 Split Learning 中基于梯度反演的标签推理攻击,提出 RLE 与自适应 MLE 标签扩展防御,在保持原任务性能的同时显著降低攻击效果。
2023-08-18 cs.CR cs.LG
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·扎耶德人工智能大学);Brave Software(Brave软件公司);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出一种针对预训练LLMs的新型成员推理攻击方法,通过将统计测试适应于数据点内子序列的困惑度动态,有效解决了以往方法忽略LLMs生成特性的问题,显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
Efficient passive membership inference attack in federated learning
Inria(法国国家信息与自动化研究所);Univ. Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(信息、科学与社会实验室)
在跨设备联邦学习(FL)设置中,诸如移动设备的客户端与服务器协作以训练全局机器学习模型,同时在本地维护其数据。然而,最近的工作表明,客户端的私人信息仍然可以透露给对手谁只是窃听客户端和服务器之间交换的消息。例如,攻击者可以推断客户端是否拥有特定的数据实例,这被称为被动成员推断攻击。在本文中,我们提出了一种新的被动推理攻击,需要更少的计算能力和内存比现有的方法。我们的实验结果表明,我们的攻击达到了更高的准确率CIFAR100数据集(超过$4$百分点),少三个数量级的内存空间和五个数量级的计算。
2021-10-31 cs.CR cs.DC cs.LG
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings
语音情感识别(SER)处理语音信号以检测和表征所表达的感知情感。许多SER应用系统经常获取在客户端收集的语音数据并将其传输到远程云平台进行推理和决策。然而,语音数据不仅包含丰富的情感信息,而且还包含其他敏感的人口统计特征,如性别,年龄和语言背景。因此,希望SER系统具有对情感结构进行分类的能力,同时防止对敏感和人口统计信息的非故意/不适当的推断。联邦学习(FL)是一种分布式机器学习范式,它协调客户端协作训练模型,而无需共享其本地数据。这种训练方法似乎是安全的,可以提高隐私的SER。然而,最近的工作表明,FL方法仍然容易受到各种隐私攻击,如重建攻击和成员推断攻击。虽然这些研究中的大多数都集中在计算机视觉应用上,但在使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL训练的SER系统的信息泄漏,我们提出了一个属性推断攻击框架,该框架从共享梯度或模型参数推断客户端的敏感属性信息,分别对应于FedSGD和FedAvg训练算法。作为一个用例,我们使用三个SER基准数据集:IEMOCAP,CREMA-D和MSP-Improv来经验性地评估我们预测客户性别信息的方法。我们表明,属性推断攻击是可以实现的SER系统使用FL训练。我们进一步确定,大部分的信息泄漏可能来自SER模型中的第一层。
2022-12-22 cs.CR cs.LG cs.MM
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University(耶鲁大学);University of Louisville(路易斯维尔大学);Guangdong Polytechnic Normal University(广东 polytechnic 正规大学)
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA,通过恶意客户端构造本地更新推断成员信息,并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Influence Function based Data Poisoning Attacks to Top-N Recommender Systems
Iowa State University(爱荷华州立大学);Duke University(杜克大学)
推荐系统是Web服务吸引用户的重要组成部分。流行的推荐系统使用大量众包的用户-物品交互数据来对用户偏好和物品属性进行建模,例如,评级分数;然后向用户推荐与用户偏好最佳匹配的前$N$项目。在这项工作中,我们表明,攻击者可以发起一个数据投毒攻击的推荐系统,使建议,攻击者的愿望,通过注入假用户精心制作的用户项目交互数据。具体来说,攻击者可以欺骗推荐系统向尽可能多的普通用户推荐目标项目。我们专注于基于矩阵分解的推荐系统,因为他们已经被广泛部署在工业。给定攻击者可以注入的虚假用户的数量,我们将虚假用户的评级分数制定为优化问题。然而,这个优化问题是具有挑战性的解决,因为它是一个非凸整数规划问题。为了应对这一挑战,我们开发了几种技术来近似解决优化问题。例如,我们利用影响力函数来选择对推荐有影响力的正常用户的子集,并基于这些有影响力的用户来解决我们的公式化优化问题。我们的结果表明,我们的攻击是有效的,优于现有的方法。
2020-05-31 cs.CR cs.IR cs.LG
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh(匹兹堡大学);Cisco Research(思科研究)
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题,提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击,以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
PRIVEE: Privacy-Preserving Vertical Federated Learning Against Feature Inference Attacks
Department of Computer Science, Virginia Tech(维吉尼亚理工大学计算机科学系);US DEVCOM Army Research Laboratory(美国陆军研发实验室);Department of Computer Science, Old Dominion University(旧 Dominion 大学计算机科学系);Department of Electrical and Computer Engineering, University of Arizona(亚利桑那大学电气与计算机工程系)
PRIVEE通过混淆置信度分数来保护隐私,有效对抗特征推断攻击,提升隐私保护效果三倍同时保持预测性能。
2026-08-05 cs.AI cs.LG
From Models to Network Topologies: A Topology Inference Attack in Decentralized Federated Learning
Communication Systems Group, Department of Informatics, University of Zurich, CH--8050 Zürich, Switzerland(苏黎世大学信息学院通信系统组);Department of Information and Communications Engineering, University of Murcia, 30100--Murcia, Spain(穆尔西亚大学信息与通信工程系)
本研究揭示去中心化联邦学习(DFL)拓扑结构的隐私漏洞,提出仅基于模型行为的拓扑推理攻击,通过分类攻击策略、实验验证关键影响因素,证实该攻击可准确推断拓扑,为DFL隐私保护改进提供依据。
2025-08-25 cs.AI cs.LG
Feature Inference Attack on Model Predictions in Vertical Federated Learning
National University of Singapore(新加坡国立大学)
联邦学习(FL)是一种新兴的范式,用于促进多个组织的数据协作,而不向彼此泄露其私有数据。最近,垂直FL,其中参与组织持有相同的样本集,但具有不相交的功能,只有一个组织拥有的标签,受到越来越多的关注。本文提出了几种特征推理攻击方法来研究垂直FL模型预测阶段潜在的隐私泄漏。攻击方法考虑了最严格的设置,即对手只控制训练的垂直FL模型和模型预测,不依赖背景信息。我们首先提出了两个具体的攻击逻辑回归(LR)和决策树(DT)模型,根据个人的预测输出。我们进一步设计了一种通用的攻击方法,基于对手积累的多个预测输出来处理复杂的模型,如神经网络(NN)和随机森林(RF)模型。实验评估表明,所提出的攻击的有效性,并强调需要设计私人机制,以保护在垂直FL的预测输出。
2021-04-22 cs.DB cs.LG
RobustFed: A Truth Inference Approach for Robust Federated Learning
Emory University(埃默里大学)
联邦学习是一个突出的框架,它使客户端(例如,移动设备或组织)来在中央服务器的编排下训练协作的全局模型,同时保持本地训练数据集的隐私。然而,联邦学习中的聚合步骤容易受到对抗攻击,因为中央服务器无法管理客户端的行为。因此,全局模型的性能和训练过程的收敛性将受到影响,在这种攻击下,为了减轻这个脆弱性问题,我们提出了一种新的鲁棒聚合算法的启发,在众包的真理推理方法,通过将工人的可靠性到聚合。我们评估我们的解决方案在三个现实世界的数据集与各种机器学习模型。实验结果表明,我们的解决方案确保了强大的联邦学习,是弹性的各种类型的攻击,包括噪声数据攻击,拜占庭攻击,标签翻转攻击。
2021-07-18 cs.AI cs.DC cs.LG
Holistic risk assessment of inference attacks in machine learning
Donghua University(东华大学)
随着机器学习应用范围的不断扩大,随之而来的隐私和安全问题也越来越多。特别是针对机器学习模型的推理攻击,使得攻击者能够推断出目标模型的敏感信息,如训练数据、模型参数等。推理攻击可能导致严重的后果,包括侵犯个人隐私、损害机器学习模型所有者的知识产权。就目前而言,研究人员已经对几种类型的推理攻击进行了深入的研究和分析,尽管是孤立的,但仍然缺乏对针对机器学习模型的推理攻击的整体风险评估,例如它们在不同场景中的应用,影响这些攻击性能的共同因素以及攻击之间的关系。因此,本文进行了全面的风险评估不同的推理攻击对机器学习模型。本文重点研究了三种具有代表性的攻击:成员推断攻击、属性推理攻击和模型窃取攻击。并建立了威胁模型分类。使用AlexNet,ResNet18和Simple CNN三种模型架构的12个目标模型在CelebA,UTKFace,STL 10和FMNIST四个数据集上进行训练。
2022-12-15 cs.CR cs.LG
On the (In)Feasibility of Attribute Inference Attacks on Machine Learning Models
Macquarie University(麦考瑞大学);University of New South Wales(新南威尔士大学);Data61-CSIRO(Data61-联邦科学与工业研究组织);BITS Pilani K.K.Birla Goa campus(戈亚校区比尔拉理工学院);Cyber & Electronic Warfare Division, Defence Science and Technology Group, Australia(澳大利亚国防科技集团网络与电子战分部)
随着低成本机器学习API的增加,高级机器学习模型可以在私有数据集上进行训练,并通过将其作为服务提供来货币化。然而,隐私研究人员已经证明,这些模型可能会通过成员推断攻击泄露有关训练数据集中记录的信息。在本文中,我们仔细研究了文献中报道的另一种推理攻击,称为属性推理,攻击者试图通过访问机器学习模型作为API来推断训练数据集中使用的部分已知记录的缺失属性。我们表明,即使一个分类模型屈服于成员推断攻击,它是不太可能容易受到属性推理攻击。我们证明,这是因为成员推断攻击无法区分一个成员附近的非成员。我们称攻击者区分两个(相似)向量的能力为强成员推理。我们发现,成员推断攻击不能推断成员在这个强设置,因此推断属性是不可行的。然而,在一个宽松的概念下的属性推断,称为近似属性推断,我们表明,它是可能的推断接近真实属性的属性。我们验证了我们的结果在三个公开的数据集,五个成员,和三个属性推断攻击文献报道。
2021-03-12 cs.CR cs.LG
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Purifier: Defending Data Inference Attacks via Transforming Confidence Scores
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Key Laboratory of Blockchain and Cyberspace Governance of Zhejiang Province(浙江省区块链与网络空间治理重点实验室);Jiaxing Research Institute, Zhejiang University(浙江大学嘉兴研究院);Zhengzhou Xinda Institute of Advanced Technology(郑州信大先进技术研究院);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击的影响,如成员推断攻击、对抗性模型反演攻击和属性推断攻击,攻击者可以从目标分类器预测的置信度中推断出有用的信息,如数据样本的成员关系、重构或敏感属性。在本文中,我们提出了一种方法,即净化器,以防止成员推断攻击。该方法对目标分类器预测的置信度向量进行变换,使提纯后的置信度在个体形状、统计分布和预测标签上无差别。实验结果表明,PURIFIER能够有效地防御成员推断攻击,性能优于以往的防御方法,且效用损失可以忽略不计。此外,我们进一步的实验表明,PURIFIER在防御对抗性模型反演攻击和属性推断攻击方面也是有效的。例如,在Facescrub530分类器上,反演误差提高了约4倍以上,并且当在我们的实验中部署PURIFIER时,属性推理准确率显著下降。
2022-12-01 cs.CR cs.LG
DocMIA: Document-Level Membership Inference Attacks against DocVQA Models
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文针对DocVQA模型提出两种无需辅助数据集的无监督文档级成员推理攻击,覆盖白盒与黑盒场景,并在多个模型和数据集上超越现有方法,揭示了该领域的隐私风险。
2025-02-06 cs.CL cs.CR cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University(杜克大学)
随着机器学习(ML)变得越来越强大且易于访问,攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中,攻击者可以访问个人、软件或系统的某些数据(称为公共数据);并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功,是因为私有数据与公共数据在统计上相关,而ML分类器可以捕获这种统计相关性。在本章中,我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是,攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此,我们可以将ML的漏洞转化为对推理攻击的防御。例如,ML分类器很容易受到对抗性示例的影响,这些示例会向正常示例添加精心制作的噪音,以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击,我们可以在公共数据中添加精心制作的噪音,将它们变成对抗性的例子,这样攻击者的分类器就会对私有数据做出错误的预测。然而,现有的构建对抗性示例的方法是不够的,因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中,我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh(爱丁堡大学);Meta AI
近年来,机器学习模型对成员推断攻击的脆弱性备受关注。然而,现有的攻击大多仍然是不切实际的,由于具有高误报率,其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠,特别是因为大多数样本在现实世界应用中是非成员。在这项工作中,我们认为,成员推断攻击可以大大受益于\emph{difficulty calibration},其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明,难度校准可以显着降低各种现有攻击的误报率,而不会损失准确性。
2022-04-11 cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Intel Labs(英特尔实验室)
机器学习模型倾向于记忆敏感数据,使得它们容易受到成员推断攻击,其中对手旨在推断输入样本是否用于训练模型。在过去的几年里,研究人员已经产生了许多成员推断攻击和防御。然而,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。然而,缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白,提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究,将隶属度推理系统化,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设,如相同的架构和相同的分布之间的影子和目标模型,是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能,并揭示了通常认为的过拟合水平是不足以成功的攻击。相反,成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险,而无需运行攻击。最后,我们发现,数据增强降低了现有的攻击在更大程度上的性能,我们提出了一个自适应攻击使用增强训练阴影和攻击模型,提高攻击性能。
2022-08-22 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击允许对手查询经训练的机器学习模型,以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估,无法表征攻击是否可以自信地识别训练集的任何成员。我们认为,攻击应该通过计算它们在低(例如,<0.1%)的假阳性率,并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题,我们开发了一种LikeRatio攻击(LiRA),它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍,并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Securing Genomic Data Against Inference Attacks in Federated Learning Environments
Independent Researcher(独立研究者)
本研究在合成基因组数据上模拟联邦学习,评估MIA、基于梯度的MIA和LIA三类推理攻击,发现基于梯度的MIA效果最强(精确率0.79、F1为0.87),揭示梯度泄漏风险并呼吁更强的基因组隐私保护机制。
2025-05-12 cs.CL cs.CR
Inf2Guard: An Information-Theoretic Framework for Learning Privacy-Preserving Representations against Inference Attacks
Illinois Institute of Technology(伊利诺伊理工学院);University of Connecticut(康涅狄格大学)
提出信息论框架 Inf2Guard,通过隐私保护与效用保持两个互信息目标学习共享表示,以统一防御成员推理、属性推理和数据重构攻击,并给出权衡与泄露保证。
2024-03-04 cs.CR cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications(北京邮电大学)
深度神经网络(DNN)对对抗攻击的微小扰动很敏感,这会导致错误的预测。近年来,已经开发了各种方法来克服对抗攻击,包括对抗防御和不确定性推理(UI)。在本文中,我们提出了一个多头不确定性推理(MH-UI)框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构(即,分类器)以从DNN中的不同深度获得预测,并为UI引入浅层信息。利用不同深度的独立水头,假设归一化预测服从同一Dirichlet分布,并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明,在不同的设置下,所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Does Black-box Attribute Inference Attacks on Graph Neural Networks Constitute Privacy Risk?
L3S Research Center(L3S研究中心);Leibniz University(莱布尼茨大学);TU Delft(代尔夫特理工大学)
本文首次系统评估针对 GNN 的黑盒属性推理攻击,通过改变攻击者知识开展实验,发现其相比缺失值估计并未显著增加隐私泄露。
2023-06-01 cs.AI cs.CR cs.LG
Black-box Model Inversion Attribute Inference Attacks on Classification Models
Dartmouth College(达特茅斯学院);Purdue University(普渡大学)
在医疗诊断、生活方式预测和商业决策等隐私敏感领域越来越多地使用ML技术,这凸显了更好地了解这些ML技术是否会导致敏感和专有训练数据泄漏的必要性。针对一类模型反演攻击,攻击者知道训练数据中实例的非敏感属性,并利用目标分类模型的oracle访问来推断未知敏感属性的值.我们设计了两种新的模型反演属性推断攻击--基于置信度建模的攻击和基于置信度得分的攻击,并将我们的攻击扩展到对手不知道某些其他(非敏感)属性的情况。此外,虽然以前的工作使用准确性作为度量来评估属性推断攻击的有效性,我们发现,准确性是没有信息时,敏感属性分布是不平衡的。我们确定了两个指标,更好地评估属性推断攻击,即G均值和马修斯相关系数(MCC)。我们评估了我们对两种类型的机器学习模型的攻击,决策树和深度神经网络,用两个真实的数据集训练。实验结果表明,我们新提出的攻击显着优于国家的最先进的攻击。此外,我们根据经验表明,训练数据集中的特定组(按属性分组,例如,性别、种族)可能更容易受到模型反演攻击。我们还证明,我们的攻击的性能不会受到显着影响时,一些其他(非敏感)属性也是未知的对手。
2020-12-07 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University(普渡大学)
我们研究了对分类器的成员推理(MI)攻击,攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估,我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后,我们提出了一种针对MI攻击的防御方法,旨在通过故意降低训练精度来缩小差距。更具体地说,训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度,该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明,将这种方法与另一种简单的防御(混合训练)相结合,可以显着提高对MI攻击的最先进的防御能力,同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference Attacks Against Latent Factor Model
Donghua University(东华大学)
信息时代的到来导致了信息过载和需求不明确的问题。个性化推荐系统作为一种信息过滤系统,能够预测用户的行为和偏好,提高用户获取信息的效率。然而,推荐系统通常使用高度敏感的用户数据进行训练。本文采用潜在因子模型作为推荐器,得到推荐项目列表,并将用户从相关项目中表示出来,与传统的成员推理方法进行比较,反对机器学习分类器。我们构造了一个具有两个隐藏层的多层感知器模型作为攻击模型来完成成员推理。此外,影子推荐器被建立以获得用于攻击模型的标记训练数据。攻击模型在影子推荐器生成的数据集上进行训练,并在目标推荐器生成的数据集上进行测试。实验数据表明,我们的攻击模型在真实数据集MovieLens上的AUC指标可以达到0.857,说明该攻击模型具有良好的性能。
2022-12-15 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University(普渡大学);NVIDIA Research(英伟达研究)
IMIA通过模仿训练技术构建少量目标感知模型,以更高效的方式实现成员推断攻击,优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland(马里兰大学)
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作,我们是第一个经验表明,彩票网络同样容易受到成员推断攻击。成员推断攻击(Membership Inference Attack,MIA)是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络,以找到较小的子网络,这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务,并观察到攻击精度相似。我们还看到,攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型,具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Membership Inference of Diffusion Models
University of Luxembourg(卢森堡大学)
近年来,扩散模型在数据合成方面取得了巨大的成功。然而,当扩散模型应用于敏感数据时,它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击,旨在推断样本是否用于训练模型。提出了两种攻击方法,即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型,在不同的数据集的隐私敏感数据。广泛的实验评估表明,我们的攻击可以实现显着的性能。此外,我们详尽地调查各种因素,可以影响攻击性能。最后,我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学)
Masked语言模型~(MLMs)在敏感数据(从法律到医疗)上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息?先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的,这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中,我们认为以前的尝试是不确定的,因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验,涉及一个额外的参考传销,更准确地量化的记忆在传销的隐私风险。我们发现,掩蔽的语言模型非常容易受到似然比成员推断攻击的影响:我们的经验结果,在医学笔记上训练的模型上,表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平,在低错误区域有显着改善:在1%的误报率下,我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Formalizing and Estimating Distribution Inference Risks
University of Virginia(弗吉尼亚大学)
分布推断,有时称为属性推断,通过访问在该数据上训练的模型来推断训练集的统计属性。当模型在私有数据上训练时,分布推断攻击可能会带来严重的风险,但很难与统计机器学习的内在目的区分开来-即生成捕获有关分布的统计属性的模型。由Yeom et al.的成员推理框架,我们提出了一个正式的定义分布推理攻击,是一般足以描述一个广泛的一类攻击区分可能的训练分布。我们展示了我们的定义如何捕获以前的基于比率的属性推断攻击以及新的攻击类型,包括揭示训练图的平均节点度或聚类系数。为了理解分布推断风险,我们引入了一个度量,该度量通过将其与如果将训练分布的样本直接提供给对手则会发生的泄漏相关来量化观察到的泄漏。我们报告了一系列实验,在一系列不同的分布使用新的黑盒攻击和改进版本的最先进的白盒攻击。我们的研究结果表明,廉价的攻击往往是有效的昂贵的元分类器攻击,并有令人惊讶的不对称的攻击的有效性。代码可在https://github.com/iamgroot42/FormEstDistRisks上获得
2022-07-05 cs.AI cs.CR cs.LG
Membership Inference Attack on Graph Neural Networks
L3S Research Center(L3S 研究中心)
图神经网络(GNN)是对传统的深度神经网络在图数据上的推广,在几个图分析任务上已经实现了最先进的性能。我们专注于训练的GNN模型如何泄漏有关它们在其上训练的\emph{member}节点的信息。我们介绍了两种用于对GNN执行成员推断(MI)攻击的现实设置。在选择最简单的攻击模型时,利用训练模型的后验(黑盒访问),我们彻底分析了GNN和数据集的属性,这些属性决定了它们对MI攻击的鲁棒性差异。虽然在传统的机器学习模型中,过拟合被认为是这种泄漏的主要原因,但我们表明,在GNN中,额外的结构信息是主要的影响因素。我们支持我们的研究结果进行了广泛的实验四个代表GNN模型。为了防止对GNN的MI攻击,我们提出了两种有效的防御方法,可以显著降低攻击者的推理高达60%,而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebMIGraph上获得。
2021-12-18 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University(山东大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
近年来,推荐系统取得了令人瞩目的成绩,成为应用最广泛的网络应用之一。然而,推荐系统通常是在高度敏感的用户数据上训练的,因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中,我们首次尝试量化的隐私泄漏的推荐系统,通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比,我们的攻击面临两个主要的区别。首先,我们的攻击是在用户级别,而不是在数据样本级别。第二,对手只能从推荐系统中观察到有序的推荐项目,而不是后验概率形式的预测结果。为了解决上述挑战,我们提出了一种新的方法,代表用户从相关的项目。此外,建立影子推荐器,以获得用于训练攻击模型的标记训练数据。大量的实验结果表明,我们的攻击框架实现了强大的性能。此外,我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Evaluation of Inference Attack Models for Deep Learning on Medical Data
Guangdong University of Technology(广东工业大学);University of Houston(休斯顿大学);Houston Methodist Cancer Center(休斯顿卫理公会癌症中心)
深度学习在医疗保健和医学界引起了广泛的兴趣。然而,很少有人研究为医疗应用而训练的深度网络所造成的隐私问题。最近开发的推理攻击算法表明,具有查询深度网络能力的恶意方可以重建图像和文本记录。这引起了人们的担忧,即包含敏感患者信息的医疗图像和电子健康记录容易受到这些攻击。本文旨在吸引医学深度学习社区的研究人员对这一重要问题的兴趣。我们评估了两个突出的推理攻击模型,即属性推理攻击和模型反演攻击。我们表明,他们可以重建真实世界的医学图像和临床报告,高保真度。然后,我们研究如何保护患者的隐私使用防御机制,如标签扰动和模型扰动。我们提供了原始和具有防御的医学深度学习模型之间的攻击结果的比较。实验结果表明,本文提出的防御方法能够有效降低推理攻击对医学深度学习隐私的潜在泄露。
2020-10-31 cs.CR cs.CV cs.LG
A Linear Reconstruction Approach for Attribute Inference Attacks against Synthetic Data
University College London(伦敦大学学院);University of Oxford(牛津大学)
本文提出基于聚合统计量线性重构的合成数据属性推理攻击,可针对任意记录实现高准确率,并揭示SDG在隐私、效用与发布记录数量之间的权衡。
2024-05-09 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Sichuan University(四川大学);NortonLifeLock Research Group(诺顿LifeLock研究组)
许多真实世界的数据以图表的形式出现,例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息,已经引入了一种新的机器学习(ML)模型族,即图神经网络(GNNs)。此前的研究表明,机器学习模型容易受到隐私攻击。然而,目前的大部分努力都集中在基于欧几里得空间数据(如图像和文本)训练的ML模型上。另一方面,GNN产生的隐私风险在很大程度上仍未得到研究。在本文中,我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型,并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明,即使对手具有最少的背景知识,GNN也容易受到节点级成员推断的影响。此外,我们表明,图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制,实证结果表明,这些防御可以降低攻击性能,但有适度的效用损失。
2021-02-10 cs.CR cs.LG
Inference Attacks: A Taxonomy, Survey, and Promising Directions
University of Technology Sydney(悉尼科技大学);Shandong Fundamental Research Center for Computer Science(山东计算机科学基础研究中心);Yunnan University(云南大学)
本综述针对MLaaS场景下的推理攻击,提出了3MP分类法以规范命名体系,系统分析了各类攻击的工作流程、对策及交互,并指出了未来研究的有前景方向。
2024-06-27 cs.AI cs.CR cs.CV
Towards Demystifying Membership Inference Attacks
成员推断攻击试图推断对手通过机器学习即服务API黑盒访问的模型的各个训练实例的成员资格。在提供针对机器学习模型的成员隐私风险的深入表征时,本文从两个互补的角度对成员推断攻击进行了全面的研究。首先,我们提供了一个广义的制定发展的黑盒成员推断攻击模型。其次,我们通过使用多个数据集对各种机器学习模型和模型组合进行系统评估,来描述模型选择对模型脆弱性的重要性。通过形式化的分析和大量实验的经验证据,我们描述了在什么条件下模型可能容易受到这种黑盒成员推断攻击。我们发现,成员推理漏洞是数据驱动的,相应的攻击模型在很大程度上是可转移的。虽然不同的模型类型显示出不同的脆弱性成员推断,所以不同的数据集。我们的实证结果还表明,(1)在攻击模型中使用受攻击的目标模型类型可能不会提高攻击效率,(2)当对手是参与者时,协作学习会暴露出成员推断风险的漏洞。我们还讨论了对策和缓解策略。
2019-02-01 cs.CR
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG