Serdab: An IoT Framework for Partitioning Neural Networks Computation across Multiple Enclaves
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度神经网络(DNN)和边缘计算的最新进展使得通过分层集群自动分析来自家庭/安全摄像头的视频流成为可能,这些集群包括靠近视频源的边缘设备以及远程云计算资源。然而,在用户的敏感数据通过不同设备时,保护其隐私和机密性仍然是大多数用户关注的问题。私有用户数据容易受到恶意攻击者的攻击或内部管理员的滥用,这些管理员可能会在未经用户明确批准的活动中使用这些数据。为了应对这一挑战,我们提出了Serdab,这是一个分布式编排框架,用于在多个安全飞地(例如,英特尔SGX)。安全飞地为部署在其中的数据/代码的隐私提供了保证。然而,它们有限的硬件资源使它们在单独运行整个深度神经网络时效率低下。为了弥合这一差距,Serdab提出了一种DNN分区策略,将神经网络的层分布在多个飞地设备或飞地设备和其他硬件加速器上。与在一个飞地中执行整个神经网络相比,我们的分区策略实现了高达4.7倍的加速比。
2020-05-12 cs.CR cs.DC cs.LG
Confidential Inference via Ternary Model Partitioning
当今的云计算供应商正在竞相提供各种产品,以简化和加速AI服务部署。然而,云用户总是担心他们的运行时数据的机密性,这些数据应该在第三方的计算基础设施上处理。用户提供的数据的信息披露可能会危及用户的隐私,并违反日益严格的数据保护法规。在本文中,我们系统地研究了深度学习图像分类管道中推理输入的生存周期,并了解了信息是如何泄露的。基于发现的见解,我们开发了一个三元模型分区机制,并带来可信的执行环境,以减轻识别的信息泄漏。我们的研究原型由两个合作组件组成:(1)模型评估框架,一个本地模型评估和分区工具,帮助云用户进行部署准备;(2)Infenclave,一个基于飞地的模型服务系统,用于云中的在线机密推理。我们对三个具有代表性的具有不同网络深度和架构复杂度的ImageNet级深度学习模型进行了全面的安全性和性能评估。我们的研究结果证明了在云中推出机密推理服务的可行性,并具有最大的机密性保证和较低的性能成本。
2020-08-12 cs.CR
Enhancing Scalability of Metric Differential Privacy via Secret Dataset Partitioning and Benders Decomposition
University of North Texas(北得克萨斯大学)
针对 LP 求解 mDP 时变量规模爆炸的问题,提出基于秘密数据集划分与 Benders 分解的两阶段计算框架,并在多类数据集上验证其更优的可扩展性与效率。
2024-05-09 cs.AI cs.CR
SPOILER: TEE-Shielded DNN Partitioning of On-Device Secure Inference with Poison Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
SPOILER通过硬件感知NAS解耦TEE子网络与主干网络,实现设备安全推断中的隐私保护与效率平衡。
2026-03-06 cs.CR
Privacy-preserving Security Inference Towards Cloud-Edge Collaborative Using Differential Privacy
云边缘协同推理方法将深度神经网络(DNN)分为两部分,在资源受限的边缘设备和云服务器上协同运行,旨在最大限度地减少推理延迟并保护数据隐私。然而,即使来自边缘设备的原始输入数据没有直接暴露给云,针对协作推理的最先进的攻击仍然能够从暴露的本地模型的中间输出重建原始私有数据,从而引入严重的隐私风险。本文提出了一种用于云-边缘协作的安全隐私推理框架CIS,该框架支持根据动态变化的网络带宽自适应地划分网络,充分释放边缘设备的计算能力。为了减轻由私有扰动引入的影响,CIS提供了一种通过向卸载到云的中间层特征图添加细化噪声来实现差分隐私保护的方法。同时,在给定总隐私预算的情况下,通过不同卷积滤波器生成的特征图秩大小合理分配预算,使得云中的推理对数据扰动具有鲁棒性,从而有效地平衡了隐私性和可用性之间的冲突问题.最后,我们构建了一个真实的云边缘协同推理计算场景,以验证资源受限的边缘设备上的推理延迟和模型划分的有效性。最后,采用最新的云边缘协同重构攻击方法,对CIS提供的端到端隐私保护机制的实际可用性进行了评估。
2022-12-13 cs.CR
Assessing differentially private deep learning with Membership Inference
SAP SE(SAP公司);University of Waterloo(滑铁卢大学)
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护,具有差分隐私。然而,数据科学家可以在本地和中央差分隐私之间进行选择,并且需要选择有意义的隐私参数$ε$,这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理,以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验,结果表明,这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案,因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
PrivaScissors: Enhance the Privacy of Collaborative Inference through the Lens of Mutual Information
Duke University(杜克大学)
针对边云协同推理仍存在边缘设备数据与预测泄露的问题,提出名为PrivaScissors的防御策略,通过降低模型中间输出与设备数据、预测的互信息增强隐私,经多数据集多攻击验证有效且有理论鲁棒性保障。
2023-05-17 cs.CR cs.LG
PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks
Michigan Technological University(密歇根理工大学);University of Houston(休斯顿大学)
针对协作推理中模型反演攻击的隐私威胁,提出PATROL方法,利用隐私导向剪枝在边缘部署更多层,结合Lipschitz正则化与对抗训练,平衡隐私、效率与效用,并在车辆重识别任务中验证其有效性。
2023-11-13 cs.CR cs.LG
CENTAUR: Bridging the Impossible Trinity of Privacy, Efficiency, and Performance in Privacy-Preserving Transformer Inference
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Fudan University(复旦大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Southwestern University of Finance and Economics(西南财经大学)
本文提出融合随机置换与 SMPC 的 PPTI 框架 CENTAUR,通过适配 Transformer 结构的高效算法,在强隐私、明文级准确率和 5.0–30.4 倍加速之间取得平衡。
2025-06-10 cs.CR cs.LG
Efficient Privacy-Preserving KAN Inference Using Homomorphic Encryption
Sun Yat-sen University(中山大学)
针对KAN推理的隐私泄露问题,提出基于同态加密的高效隐私保护推理方案,通过SiLU函数任务专用多项式近似、HE域B样条高效计算实现高精度推理,性能优于朴素方法与明文MLP。
2024-09-12 cs.CR cs.LG
Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge
NIST(美国国家标准与技术研究院)
本文评估差分隐私在联邦学习中对抗成员推断攻击的效果,提出堆叠攻击策略,并在不同隐私配置下验证其性能。
2026-04-15 cs.CR cs.LG
Assessing Differentially Private Variational Autoencoders under Membership Inference
SAP(思爱普);University of Waterloo(滑铁卢大学)
我们提出了一种方法来量化和比较的隐私准确性权衡差分私人变分自编码器。我们的工作在两个方面补充了以前的工作。首先,我们评估了差分隐私下针对变分自编码器的强重构MI攻击。其次,我们解决了数据科学家设置隐私参数的挑战,这将引导差分隐私的强度,从而也是隐私准确性的权衡。在我们的实验研究中,我们考虑图像和时间序列数据,和三个本地和中央差分隐私机制。我们发现,隐私准确性权衡强烈依赖于数据集和模型架构。我们很少观察到变分自编码器的隐私-准确性权衡,并确定LDP优于CDP的情况。
2022-04-16 cs.CR cs.LG
Inf2Guard: An Information-Theoretic Framework for Learning Privacy-Preserving Representations against Inference Attacks
Illinois Institute of Technology(伊利诺伊理工学院);University of Connecticut(康涅狄格大学)
提出信息论框架 Inf2Guard,通过隐私保护与效用保持两个互信息目标学习共享表示,以统一防御成员推理、属性推理和数据重构攻击,并给出权衡与泄露保证。
2024-03-04 cs.CR cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Inference Privacy: Properties and Mechanisms
University of Arizona(亚利桑那大学)
针对推理阶段用户数据隐私缺乏系统保障的问题,提出推理隐私(IP)概念,确立其性质并与本地差分隐私对比,设计可自定义的输入/输出扰动机制,实验验证其效用与隐私权衡的实用性。
2024-11-27 cs.CR cs.IT cs.LG
PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration
Emory University(埃默里大学)
PriDyG是结合GNN结构学习与LLM语义推理的隐私保护动态图推理框架,可在边级差分隐私约束下,在节点分类等任务中降低累计隐私开销并保持良好效用。
2026-08-06 cs.CR cs.LG
A Critical Review on the Effectiveness and Privacy Threats of Membership Inference Attacks
Universitat Rovira i Virgili(罗维拉-维格利大学);Department of Computer Engineering(计算机工程系);Mathematics(数学);CYBERCAT-Center for Cybersecurity Research of Catalonia(加泰罗尼亚网络安全研究中心);ComSCIAM-Center for Computational Science and Applied Mathematics(计算科学与应用数学研究中心)
本文批判性回顾了成员推断攻击的有效性及隐私威胁,提出评估框架,发现现实条件下MIAs隐私威胁较弱,过度依赖可能导致风险高估和模型效用牺牲。
2026-03-24 cs.CR cs.LG
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习(ML)模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡,ML模型对由敏感属性(如种族和性别)识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外,ML模型容易受到属性推断攻击,其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱,但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施,审计黑盒公平算法,使模型构建者占隐私和公平的模型设计。我们提出了Dikaios,一个隐私审计工具的公平算法的模型构建者,利用一个新的有效的属性推理攻击,占类不平衡的敏感属性,通过自适应预测阈值。我们对Dikaios进行了评估,以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明,我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性,以确保在敏感属性的不同值之间进行不可区分的预测。事实上,这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
SoK: Let the Privacy Games Begin! A Unified Treatment of Data Inference Privacy in Machine Learning
Microsoft(微软);University of Virginia(弗吉尼亚大学)
本文提出基于博弈的统一框架,梳理机器学习中成员推理、重构攻击等数据推理隐私定义,并形式化揭示其已知与未知关系。
2023-04-20 cs.CR cs.GT cs.LG
Privacy-Preserving Mechanisms Enable Cheap Verifiable Inference of LLMs
Ritual;MIT(麻省理工学院);Columbia University(哥伦比亚大学)
本研究提出隐私保护机制实现LLM推断的可验证性,通过低成本协议提高验证效率。
2026-02-19 cs.CR cs.LG
Privacy-Preserving XGBoost Inference
AWS Cryptography Algorithm(AWS密码算法);Yale University(耶鲁大学)
虽然机器学习(ML)被广泛用于预测任务,但在一些重要的场景中,ML无法使用或至少无法充分发挥其潜力。采用的一个主要障碍是预测查询的敏感性。个人用户可能缺乏足够丰富的数据集来本地训练准确的模型,但也不愿意将敏感的查询发送到出售此类模型的商业服务。隐私保护机器学习(PPML)的一个核心目标是使用户能够向远程ML服务提交加密查询,接收加密结果,并在本地对其进行解密。我们的目标是为现实世界的隐私保护ML推理问题开发实用的解决方案。在本文中,我们提出了一种隐私保护的XGBoost预测算法,我们已经在AWS SageMaker上实施并进行了经验评估。实验结果表明,我们的算法是有效的,足以用于实际的ML生产环境。
2020-11-24 cs.CR cs.LG
Privacy-Preserving Hierarchical Model-Distributed Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Seagate Technology(希捷科技)
本文针对分层ML推理场景的数据与模型隐私保护需求,提出结合秘密共享、同态加密等技术的privateMDI方案,通过模型并行化和阶段优化降低通信开销,显著提升了隐私保护下的推理速度。
2024-09-15 cs.CR cs.LG
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University(德雷塞尔大学)
不同的私有模型试图保护模型训练数据的隐私,使其成为模型安全和隐私的重要组成部分。与此同时,数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现,模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下,包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Robust Privacy: Inference-Stage Privacy through Certified Robustness
University of Science and Technology of China(中国科学技术大学)
提出鲁棒隐私(RP)概念,基于认证鲁棒性确保预测在输入邻域内不变,从而限制推理阶段隐私泄露;实验表明RP在属性推断和模型反演攻击中有效提升隐私-效用权衡。
2026-08-18 cs.AI cs.CR cs.LG
Over-the-Air Ensemble Inference with Model Privacy
Imperial College London(帝国理工学院);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
我们考虑在无线边缘的分布式推理,其中多个客户端具有一组模型,每个模型都在本地数据集上独立训练,并行查询以对新样本做出准确的决策。除了最大限度地提高推理准确性外,我们还希望最大限度地提高局部模型的隐私性。我们利用空气的叠加特性来实现带宽有效的集成推理方法。我们介绍了不同的空中集成方法,并表明这些方案的性能显着优于正交同行,同时使用更少的资源,并提供隐私保证。我们还提供了实验结果,验证了所提出的空中推理方法的好处,其源代码在Github上公开共享。
2022-05-15 cs.CR cs.LG eess.SP
Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference
不同的私有训练算法提供了对机器学习中最流行的攻击之一的保护:成员推断攻击。然而,这些隐私算法会导致模型分类准确性的损失,因此会产生隐私效用权衡。差分隐私在深度学习中提供强大的理论保护保证所需的噪声量通常会使模型无法使用,但作者观察到,即使是较低的噪声水平也可以提供可接受的经验保护,以抵御现有的成员推断攻击。在这项工作中,我们寻找替代差分隐私对经验保护成员推断攻击。我们研究了简单地遵循良好的机器学习实践(没有考虑隐私设计)对成员推理的保护。我们评估了最先进的技术,如预训练和锐度感知最小化,单独和差分私人训练算法的性能,并发现,当使用早期停止,没有差分隐私的算法可以提供更高的效用和更高的隐私比他们的差分私人同行。这些发现挑战了差分隐私是一种很好的防御现有成员推断攻击的信念
2021-10-11 cs.CR
Privacy-Preserving Verifiable Neural Network Inference Service
Virginia Tech(弗吉尼亚理工大学);Robert Bosch LLC — RTC(罗伯特·博世有限责任公司 — 研发技术中心)
本文提出了一种隐私保护且可验证的 CNN 推理方案 vPIN,利用部分同态加密和承诺并证明的简洁非交互式知识论证技术,在保护客户端数据隐私的同时确保推理结果的可验证性,并在标准数据集上验证了其高效性。
2024-11-13 cs.CR cs.LG
Privacy-Preserving Decentralized Inference with Graph Neural Networks in Wireless Networks
Zhejiang University(浙江大学);North Carolina State University(北卡罗来纳州立大学)
本文针对无线网络中基于图神经网络的去中心化推理的隐私泄露问题,采用本地差分隐私设计隐私保护信号与训练算法,并结合空中计算技术提升通信和计算效率,通过理论分析与仿真验证了方法的有效性。
2023-05-30 cs.CR cs.IT cs.LG
Evaluating Apple Intelligence's Writing Tools for Privacy Against Large Language Model-Based Inference Attacks: Insights from Early Datasets
School of Computing(计算学院);Southern Illinois University Carbondale(南伊利诺伊大学卡罗拉多分校)
本文首次实证评估 Apple Intelligence 写作工具通过重写和语气调整抵御基于大语言模型的情绪推理攻击的隐私保护潜力,为端侧自适应隐私保护机制奠定基础。
2025-06-04 cs.CR cs.LG
SecGNN: Privacy-Preserving Graph Neural Network Training and Inference as a Cloud Service
Harbin Institute of Technology(哈尔滨工业大学);City University of Hong Kong(香港城市大学)
图被广泛用于对实体之间的复杂关系进行建模。图神经网络作为一种强大的图分析工具,由于其端到端的处理能力,近年来得到了广泛的关注。随着云计算的普及,将复杂且资源密集型的模型训练和推理服务部署在云中,因其显著的优势而越来越受欢迎。然而,GNN训练和推理服务如果部署在云中,将引发对信息丰富和专有图数据(以及由此产生的模型)的严重隐私问题。虽然已经有一些关于安全神经网络训练和推理的工作,但它们都专注于处理图像和文本的卷积神经网络,而不是具有丰富结构信息的复杂图形数据。在本文中,我们设计,实现和评估SecGNN,这是第一个在云中支持隐私保护GNN训练和推理服务的系统。SecGNN是基于对轻量级密码学和机器学习技术的见解的协同作用而构建的。我们深入研究了GNN的训练和推理过程,并设计了一系列相应的安全定制协议来支持整体计算。大量的实验表明,SecGNN实现了相当的明文训练和推理精度,具有良好的性能。
2023-01-31 cs.CR cs.LG
PRICURE: Privacy-Preserving Collaborative Inference in a Multi-Party Setting
University of Michigan, Dearborn(密歇根大学迪尔伯恩分校)
当处理私有数据的多方致力于诸如医疗图像分类之类的协作预测任务时,它们通常受到数据保护法规的约束并且在协作方之间缺乏信任。如果以隐私保护的方式进行,预测分析可以受益于多方在同一机器学习任务上持有互补数据集的集体预测能力。本文介绍了PRICURE,一个系统,它结合了安全多方计算(SMPC)和差分隐私(DP)的互补优势,使隐私保护的多个模型所有者之间的协作预测。SMPC允许与非合谋安全服务器秘密共享私有模型和客户端输入,以计算预测而不会泄漏模型参数和输入。DP通过噪声聚集掩盖真实的预测结果,以阻止可能发起成员推断攻击的半诚实客户端。我们在包括基准医学图像分类数据集在内的四个数据集上对神经网络进行了PRICURE评估。我们的研究结果表明,PRICURE保证了数十个模型所有者和客户的隐私,并具有可接受的准确性损失。我们还表明,DP减少了成员推断攻击暴露,而不损害准确性。
2021-02-19 cs.CR cs.LG
PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);Hong Kong University of Science and Technology(香港科学与技术大学)
针对LLM推理中隐私保护不足、性能下降或开销大的问题,提出即插即用的PrivacyRestore方法,通过服务器训练并发布恢复向量,客户端聚合后发送至服务器,在推理时利用激活引导恢复隐私,有效保护隐私且保持可接受的性能与开销。
2025-05-28 cs.AI cs.CR
Provable Membership Inference Privacy
Stanford University(斯坦福大学);Google Cloud AI Research(谷歌云人工智能研究部)
在涉及敏感数据的应用中,例如金融和医疗保健,保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私(DP)已经成为可证明隐私的一个规范标准。然而,DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的,而且DP保证本身可能很难解释。在这项工作中,我们提出了一个新的隐私概念,成员推理隐私(MIP),以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系,并表明,MIP可以实现使用更少量的随机性相比,保证DP所需的量,导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法,保证MIP,它可以被用来作为一个包装周围的任何算法的连续输出,包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架,通过低误报率评估语音隐私,发现即使在低FPR下,对手攻击能力显著增强,强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Federated Inference: Toward Privacy-Preserving Collaborative and Incentivized Model Serving
Department of Electrical Engineering and Computer Science, University of Stavanger(电子工程与计算机科学系,斯塔万格大学);Department of Data Science, The Catholic University of Korea(数据科学系,韩国天主大学)
本文提出联邦推断作为一种隐私保护的协作与激励化模型服务范式,探讨其系统行为及关键挑战。
2026-03-04 cs.AI cs.CR cs.LG
Data-driven Regularized Inference Privacy
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
服务提供商广泛使用数据作为推理系统的输入,以执行授权任务的决策。然而,原始数据允许服务提供商推断其尚未被授权的其他敏感信息。我们提出了一个数据驱动的推理隐私保护框架,以消毒数据,以防止泄漏的敏感信息是存在于原始数据,同时确保消毒的数据仍然是与服务提供商的传统推理系统兼容。我们开发了一个基于变分方法的推理隐私框架,并包括最大均值差异和域自适应技术,以规范的消毒数据的域,以确保其遗留的兼容性。然而,变分方法在底层数据分布难以近似的情况下导致弱隐私。它在处理连续私有变量时也可能面临困难。为了克服这一点,我们提出了另一种制定的隐私度量使用最大相关性,我们提出了经验方法来估计it.Finally,我们开发了一个深度学习模型作为一个例子,建议的推理隐私框架。数值实验验证了该方法的可行性。
2020-10-10 cs.CR cs.IT cs.LG
Graphical-model based estimation and inference for differential privacy
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
许多隐私机制通过噪声测量来揭示关于数据分布的高级信息。通常使用此信息来估计新查询的答案。在这项工作中,我们提供了一种方法来解决这个估计问题,有效地使用图形模型,这是特别有效的分布时,是高维的,但测量是在低维边缘。我们表明,我们的方法是更有效的比现有的估计技术的隐私文献,它可以提高许多国家的最先进的机制的准确性和可扩展性。
2019-01-26 cs.CR cs.LG stat.ML
A Privacy-Preserving Trajectory Synthesis Method Based on Vector Translation Invariance Supporting Traffic Constraints
针对现有基于区域划分的差分隐私聚合查询难以生成高可用约束轨迹的问题,提出基于轨迹关联的聚合查询方法,通过带惩罚项的梯度下降合成轨迹,兼具更高效用与隐私安全性。
2023-10-08 cs.CR
Can Differential Privacy Practically Protect Collaborative Deep Learning Inference for the Internet of Things?
协作推理最近已经成为一个有吸引力的框架,用于将深度学习应用于物联网(IoT)应用程序,通过将DNN模型拆分为资源受限的IoT设备和云之间的几个子部分模型。然而,重建攻击最近被提出来恢复原始的输入图像从中间输出,可以收集从局部模型的协同推理。为了解决这样的隐私问题,一个有前途的技术是采用差分隐私,使中间输出的保护与一个小的准确性损失。在本文中,我们提供了第一个系统的研究,揭示了关于差分隐私的有效性,对重建攻击的协同推理的见解。我们专门探讨了三个协作推理模型与四个数据集(SVHN,GTSRB,STL-10和CIFAR-10)的隐私准确性权衡。我们的实验分析表明,差分隐私实际上可以应用于协同推理时,数据集有小的类内变化的外观。在我们的研究中,使用(经验)优化的隐私预算参数,差分隐私技术在SVHN,GTSRB,STL-10和CIFAR-10数据集上分别导致准确率损失0.476%,2.066%,5.021%和12.454%,同时挫败重建攻击。
2022-11-19 cs.CR
Exact and Efficient Bayesian Inference for Privacy Risk Quantification (Extended Version)
本文提出基于多元高斯分布的精确贝叶斯推断引擎,替代Privug中的MCMC近似方法,实现高效准确的隐私风险量化,并在公共统计发布场景中验证其优越性及差分隐私分析能力。
2023-08-31 cs.CR
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学)
Masked语言模型~(MLMs)在敏感数据(从法律到医疗)上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息?先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的,这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中,我们认为以前的尝试是不确定的,因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验,涉及一个额外的参考传销,更准确地量化的记忆在传销的隐私风险。我们发现,掩蔽的语言模型非常容易受到似然比成员推断攻击的影响:我们的经验结果,在医学笔记上训练的模型上,表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平,在低错误区域有显着改善:在1%的误报率下,我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Privacy-preserving Cloud-based DNN Inference
深度学习即服务(DLaaS)已被深入研究,以促进新兴深度学习应用程序的更广泛部署。然而,DLaaS可能会损害客户端和云服务器的隐私。虽然已经提出了一些基于隐私保护的深度神经网络(DNN)的推理技术,但是由于DNN模型的复杂性和昂贵的密码原语,计算效率的挑战还没有得到很好的解决。在本文中,我们提出了一种新的隐私保护基于云的DNN推理框架(即“PROUD”),这大大提高了计算效率。最后,我们在两个常用的数据集上进行了大量的实验,以验证PROUD的有效性和效率,这也优于最先进的技术。
2021-02-10 cs.CR
Collaborative Inference over Wireless Channels with Feature Differential Privacy
Princeton University(普林斯顿大学)
针对无线边缘协同推理中特征传输泄露隐私的问题,提出隐私保护机制与面向分类的空中池化方案,在降低通信开销的同时提供差分隐私保证和准确率下界。
2024-10-25 cs.CR cs.IT cs.LG
PINFER: Privacy-Preserving Inference for Machine Learning
OneSpan
预计外包机器学习服务的作用将越来越大,这引发了人们对用户数据隐私的担忧。目前正在提出若干技术解决办法来解决这一问题。云数据中心中的硬件安全模块由于其复杂性而仅限于企业客户,而一般的多方计算技术需要大量的消息交换。本文提出了各种隐私保护回归和分类协议,这些协议(i)只需要添加同态加密算法,(ii)将交互限制为仅仅是请求和响应,以及(iii)可以直接用于重要的机器学习算法,如逻辑回归和SVM分类。然后,将基本协议扩展并应用于前馈神经网络。
2019-10-04 cs.AI cs.CR cs.LG
Leveraging Membership Inference Attacks for Privacy Measurement in Federated Learning for Remote Sensing Images
本文提出利用成员推断攻击作为联邦学习中遥感图像隐私测量的量化框架,评估不同FL算法和通信策略下的隐私泄露情况,发现通信高效策略能降低攻击成功率并保持性能。
2026-01-08 cs.AI cs.CR cs.CV
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度神经网络容易受到各种推理攻击,因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法,相对于被动和主动推理攻击者,并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击,以跟踪其训练数据记录。我们表明,一个简单的扩展已知的黑盒攻击的白盒设置(通过分析激活函数的输出)是无效的。因此,我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法,该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后,我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型,证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中,对抗性参与者如何成功地对其他参与者进行主动成员推理攻击,即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Enabling Inference Privacy with Adaptive Noise Injection
Georgia Institute of Technology(佐治亚理工学院);Facebook(脸书)
面向用户的软件服务越来越依赖于远程服务器来托管深度神经网络(DNN)模型,该模型为客户端执行推理任务。此类服务要求客户端将输入数据发送给服务提供商,服务提供商使用DNN处理数据并将输出预测返回给客户端。由于诸如图像和语音之类的输入的丰富性质,输入通常包含比执行主要推理任务所需的信息更多的信息。因此,除了主要的推断任务之外,恶意服务提供者还可以从输入推断次要(敏感)属性,从而损害客户端的隐私。我们工作的目标是通过向输入中注入噪声来隐藏不利于主要分类任务的不相关特征,从而提高推理隐私。为此,我们提出了自适应噪声注入(ANI),它在客户端使用轻量级DNN向每个输入注入噪声,然后将其传输给服务提供商以执行推理。我们的关键见解是,通过为每个输入定制噪声,我们可以在实用性和隐私性之间实现最先进的权衡(敏感任务准确度下降高达48.5%,主要准确度下降<1%),显着优于现有的噪声注入方案。我们的方法不需要先验知识的敏感属性,并招致最小的计算开销。
2021-04-06 cs.CR cs.LG stat.ML
Gaussian Membership Inference Privacy
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学)
本文提出 $f$-成员推断隐私框架,并通过分析 SGD 推导出 $μ$-高斯成员推断隐私保证,同时给出无需影子模型的解析式攻击方法,用于审计隐私并分析超参数对攻击能力的影响。
2023-10-26 cs.CR cs.LG stat.ML
ML with HE: Privacy Preserving Machine Learning Inferences for Genome Studies
Sabanci University(萨班哲大学);North Carolina State University(北卡罗来纳州立大学)
在云计算的背景下保护大数据的隐私和安全性,同时保持其处理的一定水平的效率仍然是一个有待改进的主题。概括所述关注的最流行的应用之一被发现在基因组分析中是有用的。本文提出了一种基于同态加密的安全多标签肿瘤分类方法,利用SVM和XGBoost两种不同的机器学习算法对不同肿瘤类型的加密基因组数据进行分类。
2022-02-01 cs.CR cs.LG q-bio.GN
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
虽然机器学习(ML)模型被部署在许多关键应用程序中作为核心组件,但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断,其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止,大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而,现实世界的ML模型通常是按照迁移学习范式训练的,其中模型所有者采用从不同数据集(即教师模型)学习的预训练模型,并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中,我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明,隶属度推理可以达到有效的性能。例如,在从ResNet20(用Caltech 101预训练)转移的CIFAR 100分类器上,我们的成员推理实现了$95\%$攻击AUC。此外,我们表明,隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Efficient and Privacy-Preserving Distribution Statistics Analytics on Mobile Spatial Data
School of Cyberspace Science and Technology, Beijing Institute of Technology(北京理工大学网络空间安全学院);Shandong Key Laboratory of Energy Industry Internet Big Data Technology(山东省能源工业互联网大数据技术重点实验室);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算系);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息学院)
针对移动空间数据分布统计中的隐私保护问题,提出基于非共谋服务器和分布式点函数(DPF)的eSpat-B方案及更高效的eSpat+方案,在保证100%准确率的同时显著降低计算和通信开销。
2026-06-18 cs.CR
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China(电子科技大学);Georgia State University(佐治亚州立大学)
最近,物联网(IoT)、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而,现有的图嵌入方法没有考虑用户的隐私,以防止推理攻击。也就是说,攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中,我们提出了对抗隐私图嵌入(APGE),这是一个图对抗训练框架,它集成了解开和清除机制,以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性,同时隐藏了用户的私有属性,避免了推理攻击。在真实世界的图数据集上进行的大量实验表明,与最先进的算法相比,APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML